TCTVHQT được thành lập vào năm 1921 với tên gọi Cục Thủy văn Quốc tế (tiếng Anh: International Hydrographic Bureau, viết tắt là IHB). Năm 1970, các quốc gia thành viên ký kết một hiệp định mới và đổi tên tổ chức này thành Tổ chức Thủy văn học Quốc tế. Người ta giữ lại tên cũ Cục Thủy văn học Quốc tế để chỉ ban thư ký của TCTVHQT bao gồm ba giám đốc và một số nhân viên ở các văn phòng tại Monaco.

Trong thế kỷ XIX, nhiều quốc gia có ngành hàng hải phát triển đã thiết lập các văn phòng thủy văn học nhằm cung ứng phương tiện để cải thiện hoạt động đi biển của các tàu hải quân cũng như của thương nhân thông qua hoạt động cung cấp các ấn phẩm hàng hải, hải đồ và các dịch vụ có liên quan khác. Tuy nhiên, giữa các ấn phẩm trên tồn tại những điểm khác biệt nhau đáng kể. Năm 1889, một Hội nghị Hàng hải Quốc tế được tổ chức tại Washington, D.C. đã đề xuất thành lập một "uỷ ban quốc tế thường trực." Nhiều lời đề nghị tương tự được đưa ra trong các phiên họp của Đại hội Quốc tế về Hàng hải tổ chức tại Sankt-Peterburg năm 1908 và tại Philadelphia năm 1912.

Năm 1919, các nhà thủy văn học đến từ Liên hiệp Anh và Pháp đã cùng hợp tác để tiến tới tổ chức một hội nghị quốc tế dành cho giới thủy văn học; họ quyết định chọn Luân Đôn làm địa điểm thích hợp cho hội nghị đầu tiên này. Ngày 24 tháng 7 năm 1919, Hội nghị Quốc tế Đầu tiên khai mạc và thu hút khách tham dự từ hai mươi tư quốc gia. Mục tiêu của hội nghị lần này là "để xem xét tính hợp lý của việc tất cả các quốc gia cùng thông qua các biện pháp giống nhau khi chuẩn bị, xây dựng và ấn hành tất cả các hải đồ và ấn phẩm về thủy văn học; tính hợp lý của việc thể hiện kết quả theo cách tiện lợi nhất để chúng dễ đọc hơn; tính hợp lý của việc xây dựng một hệ thống giúp trao đổi nhanh chóng thông tin giữa tất cả các quốc gia; và tính hợp lý của việc cung cấp cho các chuyên gia thủy văn học trên thế giới một cơ hội để bàn bạc và thảo luận những vấn đề liên quan đến thủy văn." Hiện đây vẫn là mục tiêu trọng tâm của TCTVHQT.

Kết thúc hội nghị, một tổ chức thường trục đã ra đời với cơ chế hoạt động đã được chuẩn bị xong. Năm 1921, Cục Thủy văn học Quốc tế, nay là Tổ chức Thủy văn học Quốc tế, bắt đầu hoạt động với mười tám quốc gia thành viên. Trụ sở làm việc đặt tại Công quốc Monaco nhờ vào khả năng liên lạc dễ dàng với phần còn lại của thế giới đồng thời cũng nhờ sự hào phóng của ông hoàng Albert I khí đã cung cấp nơi làm việc thích hợp cho Cục.